The behavior of the network and its stability are governed by both dynamics of individual nodes as well as their topological interconnections. Attention mechanism as an integral part of neural network models was initially designed for natural language processing (NLP), and so far, has shown excellent performance in combining dynamics of individual nodes and the coupling strengths between them within a network. Despite undoubted impact of attention mechanism, it is not yet clear why some nodes of a network get higher attention weights. To come up with more explainable solutions, we tried to look at the problem from stability perspective. Based on stability theory, negative connections in a network can create feedback loops or other complex structures by allowing information to flow in the opposite direction. These structures play a critical role in the dynamics of a complex system and can contribute to abnormal synchronization, amplification, or suppression. We hypothesized that those nodes that are involved in organizing such structures can push the entire network into instability modes and therefore need higher attention during analysis. To test this hypothesis, attention mechanism along with spectral and topological stability analyses was performed on a real-world numerical problem, i.e., a linear Multi Input Multi Output state-space model of a piezoelectric tube actuator. The findings of our study suggest that the attention should be directed toward the collective behaviour of imbalanced structures and polarity-driven structural instabilities within the network. The results demonstrated that the nodes receiving more attention cause more instability in the system. Our study provides a proof of concept to understand why perturbing some nodes of a network may cause dramatic changes in the network dynamics.
translated by 谷歌翻译
如今,基于CNN的架构在学习和提取功能方面的图像分类成功使它们如此受欢迎,但是当我们使用最先进的模型对嘈杂和低质量的图像进行分类时,图像分类的任务变得更加具有挑战性。为了解决这个问题,我们提出了一种新颖的图像分类体系结构,该体系结构以模糊和嘈杂的低分辨率图像学习细节。为了构建我们的新块,我们使用了RES连接和Inception模块想法的想法。使用MNIST数据集,我们进行了广泛的实验,表明引入的体系结构比其他最先进的卷积神经网络更准确,更快。由于我们的模型的特殊特征,它可以通过更少的参数获得更好的结果。
translated by 谷歌翻译
胎儿超声(US)中胎盘的自动分割由于(i)(i)胎盘外观的高度多样性而具有挑战性我们禁止在妊娠晚期进行整个胎盘评估的观点。在这项工作中,我们通过多任务学习方法解决了这三个挑战,该方法结合了单个卷积神经网络中胎盘位置(例如,前,后部)和语义胎盘分段的分类。通过分类任务,模型可以从更大,更多样化的数据集中学习,同时在有限的训练集条件下提高分割任务的准确性。通过这种方法,我们研究了多个评估者的注释的变异性,并表明我们的自动分割(前胎盘的骰子为0.86,后胎盘的骰子为0.83),与观察者内和观察者间的变异性相比,我们的自动段性能达到了人级的性能。最后,我们的方法可以使用由三个阶段组成的多视图US采集管道提供整个胎盘分割:多探针图像采集,图像融合和图像分段。这会导致对较大结构(例如胎盘中的胎盘)的高质量分割,其图像伪像降低,这超出了单个探针的视野。
translated by 谷歌翻译
本文介绍了一种新的数据驱动方法,利用由可逆神经网络产生的歧管嵌入,以提高具有有限数据的无组则无法模拟的鲁棒性,效率和准确性。我们通过培训深度神经网络来实现这一点,以将来自本组成歧管的全局映射到下一维欧几里德矢量空间。因此,我们建立了映射欧几里德矢量空间的规范与歧管的度量之间的关系,并导致更具物理上一致的材料数据距离概念。这种处理允许我们绕过昂贵的组合优化,当数据丰富并且高维时,这可能会显着加速无模型模拟。同时,当数据稀疏或在参数空间中不均匀地分布时,嵌入的学习还提高了算法的稳健性。提供了数值实验以证明和测量不同情况下歧管嵌入技术的性能。比较了从所提出的方法获得的结果和通过经典能量规范获得的结果。
translated by 谷歌翻译
第一个已知的冠状病毒疾病2019(Covid-19)于2019年12月确定。它在全球范围内传播,导致许多国家的持续流行,强加的限制和成本。在此期间预测新案例和死亡人数可能是预测未来所需成本和设施的有用步骤。本研究的目的是预测未来100天内的新案例和死亡率,三天和七天。预测每一个天(而不是每天的动机)是调查计算成本降低和仍然实现合理性能的可能性。可以在时间序列的实时预测中遇到这样的场景。六种不同的深入学习方法是对来自世卫组织网站采用的数据进行检查。三种方法是LSTM,卷积LSTM和GRU。然后考虑对每种方法考虑双向延伸,以预测澳大利亚和伊朗国家的新案例和新死亡率。这项研究是新颖的,因为它对上述三个深度学习方法及其双向延伸进行了全面评估,以对Covid-19新案例和新的死亡率时间序列进行预测。据我们所知,这是Bi-Gru和Bi-conv-LSTM模型首次用于Covid-19新案例和新的死亡时间序列的预测。该方法的评估以图形和弗里德曼统计测试的形式提出。结果表明双向模型的误差比其他模型较低。提出了几个错误评估度量来比较所有模型,最后,确定双向方法的优越性。该研究对于针对Covid-19的组织有用,并确定其长期计划。
translated by 谷歌翻译